Merge pull request #2678 from cgwalters/release-2022-5

Release 2022 5

rust-bindings: Fix `cargo fmt`

configure: post-release version bump

Release 2022.5

Merge pull request from GHSA-gqf4-p3gv-g8vw

Fix sign ed25519 verify

Merge pull request #2675 from HuijingHei/update-doc

Update doc about adding new function to libostree

Merge pull request #2676 from render-se/debos-docs

add debos to readme distribution build tools

docs add debos to readme distribution build tools

rust: Add a test case for ed25519

Specifically, I verified that *before* the previous patch to the
ed25519 C code, the last bit of code would fail with a SIGSEGV when
trying to read the empty signature.

sign/ed25519: Verify signatures are minimum length

The ed25519 signature verification code does not
check that the signature is a minimum/correct length.
As a result, if the signature is too short, libsodium will end up
reading a few bytes out of bounds.

Reported-by: Demi Marie Obenour <demi@invisiblethingslab.com>
Co-authored-by: Demi Marie Obenour <demi@invisiblethingslab.com>
Closes: https://github.com/ostreedev/ostree/security/advisories/GHSA-gqf4-p3gv-g8vw

Update doc about adding new function to libostree

Merge pull request #2669 from HuijingHei/fix-kargs

Fix `ostree admin kargs edit-in-place` fails issue

Merge pull request #2672 from cgwalters/initialize-sysroot-cleanups

sysroot: Have `ensure_writable` also always initialize

Merge pull request #2673 from cgwalters/assert-boot

sysroot: Add a few more assertions about `boot_fd`

sysroot: Add a few more assertions about `boot_fd`

These places are all safe, but it would catch bugs in the future
more clearly to trip an assertion here.

sysroot: Have `ensure_writable` also always initialize

For historical reasons we have a fair bit of distinct sysroot
initialization going on.  A lot of code is calling *just* the new
`ensure_writable()` API, which does basically what you'd expect...
except if we're not using a mount namespace.

Which is the case in unit tests and legacy setups.
Change this API to also ensure the sysroot is fully initialized
even in those cases.  Specifically we'll have `self->sysroot_fd`.

For now, callers that need `/boot` also need to separately
call `_ensure_boot_fd()`.

deploy: Ensure sysroot is initialized for kargs in place

Even without a mount namespace set up.

Merge pull request #2671 from matthiasbeyer/readme-rust-bindings-fix

Fix link to rust bindings

Add test to verify `ostree admin kargs edit-in-place` working

Fix `ostree admin kargs edit-in-place` fails issue

Add func to set kernel arguments in place, instead of create new
deployment
Fix https://github.com/ostreedev/ostree/issues/2664

Merge pull request #2668 from cgwalters/sync-cargo-deny

Fix link to rust bindings

ostree-rs was merged into ostree, so link to the rust bindings within
this repository.

Signed-off-by: Matthias Beyer <mail@beyermatthias.de>

Merge pull request #2666 from saqibali-2k/pr/bls-append

ostree-repo: bls-append-except-default followup

deny: Sync with rpm-ostree

This extends the license set basically and ignores private repos
(which we don't have any yet).

ostree-repo: bls-append-except-default followup

This PR is followup from https://github.com/coreos/coreos-assembler/pull/2863
Summary of changes:
- Moved bls-append-except-default parsing logic to reload_sysroot_config()
- Made sure heap allocated memory is being freed

Merge pull request #2667 from cgwalters/deploy-require-repo

lib: Stop using old `ostree_sysroot_get_repo()` API

lib: Stop using old `ostree_sysroot_get_repo()` API

It's falliable, and in one place we were actually ignoring
the error and leaving a `NULL` repo object which is just a trap
for people coming along later since it's rarely nullable.

Quite a while ago we switched to loading the repo at the same time
as the sysroot; convert callers in the library to use this infallible
accessor.

Prep for another patch which will use the repo object.

Merge pull request #2632 from saqibali-2k/pr/prune-commit-only

lib/prune: speed up pruning by retrieving only commits

Merge pull request #2661 from cgwalters/port-cap-std

lib/prune: speed up pruning by retrieving only commits

After landing the new --commit-only functionality, we still noticed
exceedingly long pruning times in large repos. Lets add an optimization
that will only retrieve commit objects when --commit-only flag is used.

tests/inst: Port to cap-std

Part of an ongoing effort.

Merge pull request #2660 from cgwalters/fix-load-file-api

repo: Metadata return values from `load_file` are not nullable

Merge pull request #2655 from nikita-dubrovskii/sdboot_rename

Merge pull request #2659 from cgwalters/hackaround-cosa-systemd-unit-check

tests/staged-deploy.sh: Hack around cosa systemd unit check

https://github.com/coreos/coreos-assembler/pull/2921 broke this
test which is intentionally causing a systemd unit to fail.

As they say, necessity is the mother of invention.  They don't
say though that need always causes particularly *beautiful* things
to be invented...

s390x: rename sd-boot to sdboot

Signed-off-by: Nikita Dubrovskii <nikita@linux.ibm.com>

repo: Metadata return values from `load_file` are not nullable

The pattern this API uses in C is to allow the input parameters
pointer targets to be `NULL`, and it doesn't return values in that
case.

A further complexity here is that the API will still return `NULL`
for symbolic links.

But Rust can't express this pattern as is, so we were always
returning values but in `Option<T>` wrappers that the caller needed
to unwrap for the metadata.

(We really want an even more efficient API here that avoids the glib
 objects entirely, e.g. no reason not to pass directly back a type
 that lets Rust directly read from the fd for bare repos, but
 that can come later)

Merge pull request #2656 from cgwalters/bump-cap-std

rust: Bump semver to 0.15 && bump cap-std 0.25

Merge pull request #2658 from jlebon/pr/pinger

tests/inst/destructive: stop disabling fedora-coreos-pinger

tests/inst/destructive: stop disabling fedora-coreos-pinger

It was removed from FCOS:
https://github.com/coreos/fedora-coreos-tracker/issues/770

Bump to cap-std 0.25 and io-lifetimes 0.7

Prep for bumping ostree-rs-ext, which will help bump rpm-ostree,
which will get it out of having two copies of rustix.

rust: Bump semver to 0.15

Prep for some breaking changes.

Fix clippy lint in cap-std bits

ci/rust: Change MSRV to `cargo check`

No reason to codegen just to throw it away.  We could test here too,
but eh.

ci/rust: Enable `cap-std-apis` in default build, add a no-feature build

Our CI was missing coverage of `cap-std-apis`.

Merge pull request #2639 from HuijingHei/admin-kargs-edit-in-place

RFE: Add a hidden option to `ostree admin kargs edit-in-place` to update all existing deployments in place

RFE: Add a hidden option to `ostree admin kargs edit-in-place` to
update all existing deployments in place

Example:
$ sudo ostree admin kargs edit-in-place --append-if-missing=rw
See https://github.com/ostreedev/ostree/issues/2617

This will not add duplicate key, if there is `TESTARG=VAL1` in the
kernel arguments, `--append-if-missing=TESTARG=VAL2` will be ignored.

Merge pull request #2651 from cgwalters/misc-declare-and-initialize-2

cli: Port to C99 style (3)

Merge pull request #2654 from jlebon/pr/drop-packit

Drop `.packit.yaml`

Drop `.packit.yaml`

This repo is already hooked to the @CoreOS/continuous COPR repo for
multi-arch RPM builds of the latest commits.

It's possible we will use Packit in the future to help with the release
process. But for now, let's just drop this file since it's not needed
and the Packit failures are marking git main CI as failed.

Merge pull request #2652 from smcv/not-always-xattrs

test-basic-c: Don't assert that extended attributes are available

test-basic-c: Don't assert that extended attributes are available

Not all filesystems support extended attributes. This test uses
/var/tmp to try to get an extended-attributes-capable filesystem,
but that might not succeed.

Signed-off-by: Simon McVittie <smcv@debian.org>

cli/refs: Port to C99 style

General background cleanup.

cli/remote-list: Port to C99 style

General background cleanup.

cli/gpg-sign: Port to C99 style

General background cleanup.

Merge pull request #2650 from cgwalters/misc-declare-and-initialize-1

Merge pull request #2649 from cgwalters/misc-declare-and-initialize

cli: a few "Port to C99 style"

cli/diff: Port to C99 style

General background cleanup.

cli/config: Port to C99 style

General background cleanup.

cli/unlock: Port to C99 style

General background cleanup.

cli/undeploy: Port to C99 style

General background cleanup.

cli/os-init: Port to C99 style

General background cleanup; motivated by a recent PR which
was using pre-C99 code as a base.

Merge pull request #2643 from cgwalters/rust-2021

rust: Switch to 2021 edition, bump MSRV, a few `format!` updates

Merge pull request #2646 from cgwalters/bindings-tests

rust-bindings: Wire up `tests/`

Merge pull request #2645 from cgwalters/fsck-more-cleanups

fsck: A few more cleanups

rust-bindings: Wire up `tests/`

Because the source is in a subdirectory, we lose out on cargo target
autodiscovery.

I noticed this when I edited one of the tests in a way that
should have failed, but didn't...

fsck: Use `load_variant_if_exists`

This cleans up error handling here.

fsck: Move most commit processing into helper function

The inner loop was way too long; split out most of the heavy
lifting around backrefs and tombstones into a helper function.

fsck: De-indent loop

Could have done this in the previous change, but wanted to avoid
excessive diff noise.

Merge pull request #2644 from cgwalters/list-commit-objects

 fsck: Don't load all object names into memory

fsck: Don't load all object names into memory

We recently discovered `list_objects()` is inefficient with memory.
The more efficient `list_objects_set()` API isn't yet public, but
this fsck code actually just skips over non-commit objects, and
we already have an API to list just those.

repo: Document non-obvious way to list all commits

I was going to add an API for this and then realized the empty
string does it.

rust: Use inline `format!` variables in a few places

Since our MSRV now supports it.

ci: Bump MSRV

To match what's in ostree-rs-ext.

Merge pull request #2641 from cgwalters/bump-ostree-rs-ext-0.7

tests/inst: Bump the version of ostree-ext

Merge pull request #2642 from cgwalters/rust-bindings-cargo-updates

Rust bindings cargo updates

rust: Switch to 2021 edition

No real changes.

```
$ cargo fix --edition
note: Switching to Edition 2021 will enable the use of the version 2 feature resolver in Cargo.
This may cause some dependencies to be built with fewer features enabled than previously.
More information about the resolver changes may be found at https://doc.rust-lang.org/nightly/edition-guide/rust-2021/default-cargo-resolver.html
When building the following dependencies, the given features will no longer be used:

  libc v0.2.126 removed features: extra_traits

The following differences only apply when building with dev-dependencies:

  getrandom v0.2.6 removed features: std
```

which looks OK to me.

rust-bindings: Update cargo package list

When we did the merger, it turns out cargo by default is basically
going to include all of stuff in the git repository root directory
which is "libostree".  We just want the stuff in `rust-bindings/`.

I initially tried adding `include = "rust-bindings/"` but
according to
https://doc.rust-lang.org/cargo/reference/manifest.html#the-exclude-and-include-fields
specifying `include` means that `exclude` is
ignored, which is kind of annoying.  Further, doing so *also*
turns off the cargo automatic rules for handling e.g. `gitignore`.

So for now I went with the approach of adding everything from the C
library stuff into `exclude/`.

rust-bindings: use correct README.md

I noticed at https://crates.io/crates/ostree/0.14.0
that the `README.md` was wrong...

rust-bindings: Fix repository reference

Since the repo merge.

tests/inst: Bump the version of ostree-ext

In the interest of cross-testing and keeping things up to date.

Hmm, I think we need to set up dependabot here.

Merge pull request #2638 from cgwalters/fix-symbol-versioning

lib: Fix symbol versioning inheritance

Merge pull request #2637 from cgwalters/opt-prune-reachable-too

prune: Also use object set API in `ostree_repo_prune_from_reachable()`

lib: Fix symbol versioning inheritance

I messed this up; the last release should inherit from the previous
release (N-1) and not the previous to that (N-2).

I think (hope) this isn't an ABI break...

Just noticed this when I was going to add a new symbol.

prune: Also use object set API in `ostree_repo_prune_from_reachable()`

I missed the second prune path when working on
https://github.com/ostreedev/ostree/pull/2635

Merge pull request #2636 from cgwalters/update-git-libostree-git-rust

ci: Add a flow that does a git libostree + git rust-bindings

Merge pull request #2635 from cgwalters/list-objects-set

ci: Add a flow that does a git libostree + git rust-bindings

In https://github.com/ostreedev/ostree/pull/2633 I realized
that our CI only builds git of libostree or git of rust-bindings,
not git of both.  And we definitely want to test the latter too,
so e.g. the Rust tests *also* become tests for changes to the C code.

repo: Further optimize `ostree_repo_list_objects_set()`

In a prior change we discovered that for bad historical reasons
libostree was returning a mapping "object type+checksum" => "metadata"
but the "metadata" was redundant and pointless.

Optimize the prune API to use a (currently internal) object listing
API which returns a set, not a map.  This allows `GHashTable` to
avoid allocating a separate array for the values, neatly cutting
memory usage in half (from ~13MB to ~6MB) on my test case of a
dry-run prune of a FCOS build.

Merge pull request #2633 from cgwalters/bump-rust-bindings

rust: Bump semver, add feature for current release

rust: Bump semver, add feature for current release

There were some changes to the sys API for introspection fixes.
And add a feature for the current release, which is something
I'll add to the checklist for releases.

Merge pull request #2634 from cgwalters/list-objects-malloc

repo: Optimize memory use of `ostree_repo_list_objects()`

repo: Optimize memory use of `ostree_repo_list_objects()`

I was looking at https://github.com/ostreedev/ostree/pull/2632
and confused at the usage of
`GVariant *value = g_variant_new ("(b@as)", TRUE, g_variant_new_strv (NULL, 0));`
which looked strange - why the empty strv?

It turns out that this is a historical legacy of the time when
ostree had pack files.  And nothing actually cares about the values
of these variants; we should have an API that returns a proper set,
and not a hash.

But...since all of these things have exactly the same value, instead
of allocating lots of redundant copies on the heap, just have
them all hold a refcount on a shared value.

This cuts the heap usage from 20MB to 13MB on a test FCOS repository
build.

Merge pull request #2631 from cgwalters/release-2022-4

Release 2022.4

configure: post-release version bump

Release 2022.4

Merge pull request #2627 from cgwalters/bindings-drop-committed-gir

rust-bindings: Update to latest git

rust-bindings: Use OSTree-1.0.gir from our own builddir

Now that the projects are unified.

rust-bindings: Delete committed gir files

These seem to have been accidentally committed to git; they should
not be here.  The Gir should be derived from source code.